Gia là anh họ của anh em Lưu Diễn, Lưu Tú. Bác là Thung Lăng hầu Lưu Sưởng, cha là Lưu Hiến – em cùng mẹ của Sưởng. Gia tính nhân hậu, sớm mồ côi, được Nam Đốn (huyện) lệnh Lưu Khâm nuôi dạy như con (Khâm là cha của Diễn, Tú). Nhưng Khâm cũng mất sớm, anh em Diễn, Tú được em của Khâm là Tiêu (huyện) lệnh Lưu Lương chu cấp, có lẽ Gia cũng được đối đãi như vậy. Sau đó Gia cùng Lưu Diễn du học ở Trường An, học tập các kinh Thượng Thư, Xuân Thu.

Khi anh em Diễn, Tú khởi nghĩa, Gia tham gia chinh chiến. Trong thất bại ở trận Tiểu Trường An, vợ con của Gia đều bị sát hại. Lưu Huyền lên ngôi, là Canh Thủy đế, lấy Gia làm Thiên tướng quân.

Nghĩa quân Lục Lâm công phá Uyển Thành (23), Gia được phong Hưng Đức hầu, thăng Đại tướng quân. Gia tấn công Duyên Sầm ở huyện Quan Quân, thu hàng ông ta. Sau khi Canh Thủy đế dời đô đến Trường An (24), lấy Gia làm Hán Trung vương, Phù uy đại tướng quân; ông được cầm cờ tiết đến nước phong, định đô ở Nam Trịnh, lực lượng có vài mươi vạn người.